import pandas as pd
import plotly.express as px
import plotly.io as pio
pio.renderers.default = "notebook"
pd.set_option('display.max_colwidth', None)
d1 = pd.read_csv("pd0.csv")
d1
| tempo | triplas | |
|---|---|---|
| 0 | 52.960894 | 100 |
Exemplo de consulta:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
?p ?o.
} LIMIT 100
d2 = pd.read_csv("pd1.csv")
d2
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 1.724540 | Acórdão | 100 |
| 1 | 3.402595 | Agente | 100 |
| 2 | 0.819776 | Arma | 100 |
| 3 | 0.606030 | Arquivo | 100 |
| 4 | 1.389108 | Ativa | 100 |
| ... | ... | ... | ... |
| 136 | 0.585991 | Unidade Federativa | Estado | 100 |
| 137 | 0.704584 | Unidade Fiscal | 32 |
| 138 | 3.252450 | Usuário | 100 |
| 139 | 1.679277 | Órgão | 100 |
| 140 | 3.588456 | Evento | 100 |
141 rows × 3 columns
p = {'inválidas':d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0],'válidas':d2.shape[0]-d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes válidas')
fig.show()
d2['timeout'] = 'Não'
d2.loc[d2['triplas']==-1,'timeout'] = 'Sim'
p= d2['timeout'].value_counts().reset_index(name="count")
fig = px.pie(p,values='count', names='index', title='Percentual de classes com erros')
fig.show()
d2[d2['triplas']==-1]
| tempo | classe | triplas | timeout |
|---|
p = {'vazias':d2[d2['triplas']==0].shape[0],'povoadas':d2.shape[0]-d2[d2['triplas']==0].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes vazias')
fig.show()
d2[d2['triplas']==0]
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 41 | 0.579451 | Endereço C115 Comunicação | 0 | Não |
| 42 | 0.545491 | Endereço C115 Energia | 0 | Não |
| 43 | 1.169574 | Endereço C115 Telecomunicação | 0 | Não |
| 45 | 0.579884 | Endereço NFE | 0 | Não |
| 109 | 2.099487 | Situação especial | 0 | Não |
validas = d2[(d2['triplas']!=0) & (d2['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução, quando tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,20)
validas[validas['tempo']<20].describe()
| tempo | triplas | |
|---|---|---|
| count | 128.000000 | 128.000000 |
| mean | 2.234601 | 92.007812 |
| std | 1.816965 | 24.010659 |
| min | 0.537356 | 6.000000 |
| 25% | 0.731778 | 100.000000 |
| 50% | 1.641217 | 100.000000 |
| 75% | 2.994781 | 100.000000 |
| max | 9.338425 | 100.000000 |
fig = px.histogram(validas[validas['tempo']>=20], x="tempo",title="histograma de tempo de execução, quando tempo [20,inf]")
fig.show()
Consultas com tempo [20,inf)
validas[validas['tempo']>=20].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 85 | 425.936280 | Pessoa Física | 100 | Não |
| 123 | 383.215902 | Sócio | 100 | Não |
| 27 | 250.296293 | Contribuinte Normal | 100 | Não |
| 97 | 227.146861 | Registro Desabilitado | 100 | Não |
| 69 | 144.890502 | Item | 100 | Não |
| 111 | 67.999258 | Sociedade Cadastro SEFAZ | 100 | Não |
| 82 | 21.714473 | Papel | 100 | Não |
| 124 | 20.196571 | Sócio Cadastro SEFAZ | 100 | Não |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> ?p ?o.
} LIMIT 100
d3 = pd.read_csv("pd2.csv")
d3
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 2.226223 | Acórdão | 5 |
| 1 | 0.466056 | Agente | 5 |
| 2 | 4.450938 | Arma | 8 |
| 3 | 3.944537 | Arquivo | 12 |
| 4 | 0.519250 | Ativa | 9 |
| ... | ... | ... | ... |
| 131 | 2.201626 | Unidade Federativa | Estado | 5 |
| 132 | 0.481827 | Unidade Fiscal | 4 |
| 133 | 4.903809 | Usuário | 4 |
| 134 | 1.159453 | Órgão | 9 |
| 135 | 2.758750 | Evento | 51 |
136 rows × 3 columns
d3[(d3['triplas']==0) | (d3['triplas']==-1)]
| tempo | classe | triplas |
|---|
validas = d3[(d3['triplas']!=0) & (d3['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução, quando tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 113.000000 | 113.000000 |
| mean | 1.451672 | 10.415929 |
| std | 1.291165 | 13.681143 |
| min | 0.152598 | 2.000000 |
| 25% | 0.514624 | 5.000000 |
| 50% | 0.786312 | 8.000000 |
| 75% | 2.290235 | 10.000000 |
| max | 4.903809 | 100.000000 |
fig = px.histogram(validas[(validas['tempo']>=5) & (validas['tempo']<50)], x="tempo",title="histograma de tempo de execução, quando tempo [5,49]")
fig.show()
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 23.000000 | 23.000000 |
| mean | 69.208500 | 14.130435 |
| std | 220.909166 | 6.717036 |
| min | 5.039480 | 6.000000 |
| 25% | 6.172400 | 8.000000 |
| 50% | 9.928421 | 15.000000 |
| 75% | 30.637755 | 17.000000 |
| max | 1074.323874 | 28.000000 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 96 | 1074.323874 | Representante Legal Jurídico | 24 |
| 65 | 104.340159 | Item | 7 |
| 78 | 80.758846 | Papel | 10 |
| 34 | 66.953498 | Empresa Holding | 24 |
| 119 | 64.788626 | Sócio Cadastro SEFAZ | 10 |
| 58 | 35.199508 | Grupo | 24 |
| 38 | 26.076001 | Empresa | Organização | Pessoa Jurídica SEFAZ | 15 |
| 18 | 23.261049 | Consumidor | 13 |
| 72 | 18.154068 | Não Contribuinte | 10 |
| 15 | 11.010394 | Combustível | 7 |
| 82 | 10.128577 | Pessoa Física Cadastro SEFAZ | 16 |
| 46 | 9.928421 | Estabelecimento | 28 |
| 83 | 7.496287 | Pessoa Física REDESIM | 16 |
| 87 | 6.731741 | Produto | 8 |
| 19 | 6.722349 | Contador | 16 |
| 27 | 6.297106 | Contribuinte Normal | 6 |
| 22 | 6.201080 | Contribuinte Isento | 6 |
| 26 | 6.143719 | Contribuinte IPVA | 6 |
| 68 | 5.788705 | Medicamento | 8 |
| 94 | 5.585236 | Representante Legal | 16 |
| 47 | 5.517479 | Estabelecimento REDESIM | 21 |
| 95 | 5.349301 | Representante Legal Físico | 16 |
| 41 | 5.039480 | Endereço Cadastro da SEFAZ | 18 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> rdfs:label ?o.
} LIMIT 100
d4 = pd.read_csv("pd3.csv")
d4
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 4.680668 | Acórdão | 1 |
| 1 | 0.134439 | Agente | 1 |
| 2 | 3.573197 | Arma | 1 |
| 3 | 2.297062 | Arquivo | 1 |
| 4 | 0.128848 | Ativa | 1 |
| ... | ... | ... | ... |
| 131 | 0.141800 | Unidade Federativa | Estado | 1 |
| 132 | 0.142337 | Unidade Fiscal | 1 |
| 133 | 2.019958 | Usuário | 1 |
| 134 | 0.172100 | Órgão | 1 |
| 135 | 0.610246 | Evento | 1 |
136 rows × 3 columns
p = {'não tem label':d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0],'tem label':d4.shape[0]-d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes com recursos com labels')
fig.show()
d4[(d4['triplas']==0) | (d4['triplas']==-1)]
| tempo | classe | triplas | |
|---|---|---|---|
| 112 | 1.290097 | Status da consistência | 0 |
validas = d4
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 128.000000 | 128.000000 |
| mean | 0.567210 | 1.070312 |
| std | 0.818761 | 0.285712 |
| min | 0.101143 | 0.000000 |
| 25% | 0.153191 | 1.000000 |
| 50% | 0.217944 | 1.000000 |
| 75% | 0.618284 | 1.000000 |
| max | 4.680668 | 2.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 8.000000 | 8.000000 |
| mean | 60.497071 | 1.375000 |
| std | 51.679732 | 0.517549 |
| min | 6.764335 | 1.000000 |
| 25% | 14.739441 | 1.000000 |
| 50% | 59.032733 | 1.000000 |
| 75% | 83.089443 | 2.000000 |
| max | 155.364235 | 2.000000 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 20 | 155.364235 | Contribuinte | 1 |
| 34 | 102.217064 | Empresa Holding | 2 |
| 38 | 76.713569 | Empresa | Organização | Pessoa Jurídica SEFAZ | 1 |
| 58 | 67.287210 | Grupo | 2 |
| 96 | 50.778256 | Representante Legal Jurídico | 2 |
| 65 | 17.052932 | Item | 1 |
| 78 | 7.798967 | Papel | 1 |
| 119 | 6.764335 | Sócio Cadastro SEFAZ | 1 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
<http://www.sefaz.ma.gov.br/ontology/data_final> ?o.
} LIMIT 100
d5 = pd.read_csv("pd4.csv")
d5
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.092715 | Acórdão | data final | 0 |
| 1 | 0.320813 | Agente | name | 100 |
| 2 | 0.191118 | Agente | nome | 100 |
| 3 | 0.841857 | Agente | tem solicitação | 0 |
| 4 | 0.527459 | Agente | tem tipo de contribuição | 100 |
| ... | ... | ... | ... | ... |
| 890 | 0.086403 | Órgão | 0 | |
| 891 | 0.084543 | Órgão | idêntico / igual / mesmo que / sameAs | 0 |
| 892 | 1.032563 | Evento | tem solicitação | 100 |
| 893 | 0.545335 | Evento | código do evento | 90 |
| 894 | 0.356626 | Evento | descrição do evento | 68 |
895 rows × 4 columns
d5[(d5['triplas']==0) | (d5['triplas']==-1)]
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.092715 | Acórdão | data final | 0 |
| 3 | 0.841857 | Agente | tem solicitação | 0 |
| 6 | 0.065183 | Agente | cpf ou cnpj | 0 |
| 9 | 0.088225 | Agente | número de contato | 0 |
| 10 | 0.080646 | Agente | contact number | 0 |
| ... | ... | ... | ... | ... |
| 887 | 0.084727 | Órgão | tem matriz | 0 |
| 888 | 0.086706 | Órgão | cnpj raíz | 0 |
| 889 | 0.084627 | Órgão | razão social | 0 |
| 890 | 0.086403 | Órgão | 0 | |
| 891 | 0.084543 | Órgão | idêntico / igual / mesmo que / sameAs | 0 |
387 rows × 4 columns
p = {'inválida':d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0],'válida':d5.shape[0]-d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d5['erro']='Não'
d5.loc[d5['triplas']==-1,'erro']='Sim'
p = d5['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de propriedades de classes que deram erro')
fig.show()
Consultas com erro
d5[d5['triplas']==-1]
| tempo | classe | propriedade | triplas | erro |
|---|
p = {'propridade sem valor':d5[(d5['triplas']==0)].shape[0],'propridades com valor':d5.shape[0]-d5[(d5['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades com valores por classe')
fig.show()
Consultas com retorno vazio
d5[(d5['triplas']==0)]
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 0 | 0.092715 | Acórdão | data final | 0 | Não |
| 3 | 0.841857 | Agente | tem solicitação | 0 | Não |
| 6 | 0.065183 | Agente | cpf ou cnpj | 0 | Não |
| 9 | 0.088225 | Agente | número de contato | 0 | Não |
| 10 | 0.080646 | Agente | contact number | 0 | Não |
| ... | ... | ... | ... | ... | ... |
| 887 | 0.084727 | Órgão | tem matriz | 0 | Não |
| 888 | 0.086706 | Órgão | cnpj raíz | 0 | Não |
| 889 | 0.084627 | Órgão | razão social | 0 | Não |
| 890 | 0.086403 | Órgão | 0 | Não | |
| 891 | 0.084543 | Órgão | idêntico / igual / mesmo que / sameAs | 0 | Não |
387 rows × 5 columns
validas = d5[d5['triplas']!=-1]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução com tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 858.000000 | 858.000000 |
| mean | 0.479655 | 52.510490 |
| std | 0.873476 | 49.688016 |
| min | 0.065183 | 0.000000 |
| 25% | 0.087574 | 0.000000 |
| 50% | 0.131317 | 100.000000 |
| 75% | 0.310001 | 100.000000 |
| max | 4.981959 | 100.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 37.000000 | 37.000000 |
| mean | 38.795885 | 94.621622 |
| std | 70.944906 | 22.810026 |
| min | 5.024568 | 0.000000 |
| 25% | 6.892025 | 100.000000 |
| 50% | 12.006950 | 100.000000 |
| 75% | 42.201326 | 100.000000 |
| max | 330.168843 | 100.000000 |
Propriedades de classes com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 599 | 330.168843 | Pessoa Física Cadastro SEFAZ | name | 100 | Não |
| 600 | 300.863919 | Pessoa Física Cadastro SEFAZ | nome | 100 | Não |
| 831 | 92.228256 | Sócio | tem qualificação sócio | 100 | Não |
| 580 | 88.581396 | Pessoa Física | fax | 100 | Não |
| 423 | 56.911155 | Estabelecimento RFB | número de contato | 100 | Não |
| 597 | 54.933366 | Pessoa Física | nome | 100 | Não |
| 424 | 53.831444 | Estabelecimento RFB | contact number | 100 | Não |
| 596 | 50.982193 | Pessoa Física | name | 100 | Não |
| 576 | 43.824997 | Pessoa Física | CPF | 100 | Não |
| 206 | 42.201326 | Empresa | Organização | Pessoa Jurídica RFB | tem matriz | 100 | Não |
| 428 | 39.538054 | Estabelecimento RFB | telefone | 100 | Não |
| 153 | 25.237931 | Empresa Holding | razão social | 100 | Não |
| 152 | 22.660699 | Empresa Holding | cnpj raíz | 100 | Não |
| 216 | 22.466195 | Empresa | Organização | Pessoa Jurídica SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 654 | 20.312259 | Registro Desabilitado | excluído por | 100 | Não |
| 583 | 18.245763 | Pessoa Física | telefone | 100 | Não |
| 594 | 15.735086 | Pessoa Física | 100 | Não | |
| 708 | 12.636269 | Situação Cadastral | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 712 | 12.006950 | Situação Cadastral Cadastro da SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 35 | 10.617663 | Ativa | tem razão de situação cadastral | 1 | Não |
| 38 | 10.286475 | Ativa | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 837 | 9.908444 | Sócio | percentual de participação | 100 | Não |
| 834 | 9.326878 | Sócio | cnpj cpf | 100 | Não |
| 5 | 9.232759 | Agente | cnpj cpf | 100 | Não |
| 830 | 9.085136 | Sócio | qualificação do sócio | 100 | Não |
| 198 | 6.937946 | Empresa | Organização | Pessoa Jurídica | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 363 | 6.915799 | Estabelecimento | foi desabilitado | 100 | Não |
| 720 | 6.892025 | Situação Cadastral RFB | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 736 | 6.804022 | Sociedade | tem representante / tem representante legal | 100 | Não |
| 446 | 6.800090 | Evento Desabilitado | tem razão de situação cadastral | 100 | Não |
| 75 | 6.725855 | Cidade | Município | cep | 100 | Não |
| 655 | 5.941774 | Registro Desabilitado | incluido por | 100 | Não |
| 57 | 5.896624 | Baixa de Ofício | idêntico / igual / mesmo que / sameAs | 0 | Não |
| 550 | 5.438868 | Obrigação Legal | tem imposto | 100 | Não |
| 165 | 5.140062 | Empresa | Organização | Pessoa Jurídica | tem porte empresarial | 100 | Não |
| 693 | 5.106667 | Sanção | publicação | 100 | Não |
| 195 | 5.024568 | Empresa | Organização | Pessoa Jurídica | data incorporação | 100 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
{
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
}
OPTIONAL{
?s ?p2 ?node.
filter(?p2 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?s))
}
}
d6 = pd.read_csv("pd5.csv")
d6
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.857417 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 1 |
| 1 | 1.395802 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 1 |
| 2 | 0.688485 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 1.258403 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 1 |
| 4 | 0.891404 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 131 | 0.635724 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 132 | 0.711612 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 133 | 0.738255 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 134 | 1.269037 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 48 |
| 135 | 1.216329 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 46 |
136 rows × 4 columns
d6[(d6['triplas']==0) | (d6['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 2 | 0.688485 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 4 | 0.891404 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| 7 | 2.863792 | Baixa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXA_DE_OFICIO-30984323000128-2019_07_17 | 0 |
| 8 | 0.819792 | Baixada | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXADA-7476781001025-2022_06_02 | 0 |
| 9 | 0.698701 | CEP do Logradouro | http://www.sefaz.ma.gov.br/resource/DOMINIO/CEP_Logradouro/01019030 | 0 |
| 10 | 0.727564 | Cancelada | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/CANCELADA-29528575000163-2018_01_25 | 0 |
| 11 | 4.344718 | Caso da consistência | http://www.sefaz.ma.gov.br/resource/Caso_Consistencia/1.1 | 0 |
| 12 | 0.713210 | Caso da similaridade | http://www.sefaz.ma.gov.br/resource/Caso_Similaridade/1 | 0 |
| 13 | 1200.101371 | Cidade | Município | http://www.sefaz.ma.gov.br/resource/DOMINIO/Cidade/ABOBORA-BA | -1 |
| 18 | 0.671096 | Consumidor | http://www.sefaz.ma.gov.br/resource/C115/Consumidor/0 | 0 |
| 31 | 0.663829 | Documento | http://xmlns.com/foaf/0.1/Document/CARTEIRA_DE_IDENTIDADE_PROFISSIONAL | 0 |
| 33 | 0.685849 | Emancipado | http://www.sefaz.ma.gov.br/resource/REDESIM/Emancipado/70927600382 | 0 |
| 45 | 0.698442 | Entidade Integrada | http://www.sefaz.ma.gov.br/resource/REDESIM/Entidade_Integrada/9921 | 0 |
| 64 | 0.688308 | Infração | http://www.sefaz.ma.gov.br/resource/CEI/Infracao/1 | 0 |
| 67 | 1200.087212 | Logradouro | http://www.sefaz.ma.gov.br/resource/DOMINIO/Logradouro/01001000-SE | -1 |
| 68 | 0.909048 | Medicamento | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Medicamento/315504015 | 0 |
| 69 | 0.655890 | Nacionalidade | http://www.sefaz.ma.gov.br/resource/REDESIM/Nacionalidade/BRASILEIRA | 0 |
| 70 | 2.810463 | Natureza Legal | Natureza Jurídica | http://www.sefaz.ma.gov.br/resource/DOMINIO/Natureza_Legal/1309 | 0 |
| 72 | 0.639604 | Não Contribuinte | http://www.sefaz.ma.gov.br/resource/DOMINIO/Nao_Contribuinte_ICMS/256900 | 0 |
| 74 | 0.648211 | Obrigação | http://www.sefaz.ma.gov.br/resource/CEI/Obrigacao/%20Implantação%20de%20Iluminação%20Pública%20na%20Av.%20Anita%20Viana | 0 |
| 77 | 0.660045 | Opção pelo regime SIMPLES | http://www.sefaz.ma.gov.br/resource/RFB/Opcao_Simples/NAO-00000000 | 0 |
| 79 | 0.649191 | País | http://www.sefaz.ma.gov.br/resource/DOMINIO/Pais/AFEGANISTAO | 0 |
| 80 | 1.933006 | Periodicidade | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Periodicidade/ANUAL | 0 |
| 85 | 0.705603 | Porte da Empresa | Porte Empresarial | Porte | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Porte/PEQUENO_PORTE | 0 |
| 87 | 0.639875 | Produto | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Medicamento/315504007 | 0 |
| 88 | 3.283580 | Protocolo | http://www.sefaz.ma.gov.br/resource/REDESIM/Protocolo/MAP1601308248 | 0 |
| 90 | 0.671761 | Qualificação do Sócio ou Representante | http://www.sefaz.ma.gov.br/resource/DOMINIO/Qualificacao/ACIONISTA | 0 |
| 91 | 0.643658 | Razão | Motivo de Situação Cadastral | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Razao_Situacao_Cadastral/1 | 0 |
| 99 | 1.611952 | Seção CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/CNAE_1.0_SECAO-EDUCACAO | 0 |
| 100 | 0.724999 | Situação Cadastral | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/ATIVA-19972877000415-2022_08_16 | 0 |
| 101 | 0.238545 | Situação Cadastral Cadastro da SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXADA-7476781001025-2022_06_02 | 0 |
| 102 | 0.608578 | Situação Cadastral REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/ATIVA-27604562000109-2017_04_26 | 0 |
| 103 | 3.454599 | Situação Cadastral RFB | http://www.sefaz.ma.gov.br/resource/RFB/Situacao_Cadastral/ATIVA-00000000000191-2005_11_03 | 0 |
| 104 | 0.731721 | Situação Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Fiscal/12166449-DESABILITADO | 0 |
| 113 | 0.638706 | Status de Envio | http://www.sefaz.ma.gov.br/resource/REDESIM/Status_Envio/PENDENTE_ENVIO | 0 |
| 117 | 0.781533 | Suspensa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/SUSPENSA_DE_OFICIO-40031232000121-2021_10_12 | 0 |
| 122 | 0.974589 | Tipo Ato | http://www.sefaz.ma.gov.br/resource/REDESIM/Tipo_Ato/INSCRICAO | 0 |
| 123 | 0.644957 | Tipo de Contribuição | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Contribuicao/NAO_CONTRIBUINTE | 0 |
| 124 | 0.697727 | Tipo de Propriedade | http://www.sefaz.ma.gov.br/resource/REDESIM/Tipo_Propriedade/PROPRIO | 0 |
| 125 | 0.710552 | Tipo de Regime Tributário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Tipo_Regime_Tributario/SIMPLES_NACIONAL | 0 |
| 126 | 0.703720 | Tipo do Estabelecimento | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Estabelecimento/FILIAL | 0 |
| 130 | 0.714915 | Unidade Consumo Telecomunicação | http://www.sefaz.ma.gov.br/resource/C115/Unidade_Consumo_Telecomunicacao/99984962180-92806287391-40432544024593 | 0 |
| 131 | 0.635724 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 132 | 0.711612 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 133 | 0.738255 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
p = {'inválida':d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0],'válida':d6.shape[0]-d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d6['erro'] = 'Não'
d6.loc[d6['triplas']==-1,'erro']='Sim'
p = d6['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
p = {'nós sem relações':d6[(d6['triplas']==0)].shape[0],'nós com relações':d6.shape[0]-d6[(d6['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual nós sem relações por classe')
fig.show()
validas = d6[(d6['triplas']!=0) & (d6['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<30], x="tempo",title="histograma de tempo de execução com tempo [0,30)")
fig.show()
fig = px.histogram(validas[validas['tempo']>=8], x="tempo",title="histograma de tempo de execução com tempo [8,inf)")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 64.000000 | 64.000000 |
| mean | 2.068310 | 7.296875 |
| std | 1.949007 | 14.163086 |
| min | 0.207037 | 1.000000 |
| 25% | 0.825318 | 1.000000 |
| 50% | 1.096279 | 2.500000 |
| 75% | 2.653601 | 6.000000 |
| max | 7.735744 | 75.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 27.000000 | 27.000000 |
| mean | 255.064134 | 14613.777778 |
| std | 943.757942 | 56358.964983 |
| min | 8.712418 | 1.000000 |
| 25% | 14.202446 | 2.000000 |
| 50% | 28.791948 | 6.000000 |
| 75% | 83.102958 | 42.000000 |
| max | 4922.863174 | 287500.000000 |
Recursos com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 37 | 4922.863174 | Empresa | Organização | Pessoa Jurídica RFB | http://www.sefaz.ma.gov.br/resource/RFB/Empresa/00000000 | 287500 | Não |
| 34 | 750.332416 | Empresa Holding | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 6 | 217.607856 | Bairro | http://www.sefaz.ma.gov.br/resource/DOMINIO/Bairro/CONQUISTA-RIO_BRANCO | 52 | Não |
| 127 | 114.542616 | Unidade Consumo | http://www.sefaz.ma.gov.br/resource/C115/Unidade_Consumo/000000000017 | 3 | Não |
| 20 | 103.101359 | Contribuinte | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Tributario/SIMEI/12107005 | 1 | Não |
| 96 | 96.964799 | Representante Legal Jurídico | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 58 | 90.186013 | Grupo | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 22 | 76.019903 | Contribuinte Isento | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Tributario/Isento/91243606 | 1 | Não |
| 21 | 75.436876 | Contribuinte Contribuinte SIMEI | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Tributario/SIMEI/12101113 | 1 | Não |
| 15 | 69.117564 | Combustível | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Combustivel/11141459 | 1 | Não |
| 24 | 66.289340 | Contribuinte Geral | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Tributario/SIMEI/12000452 | 1 | Não |
| 50 | 39.974087 | Evento Desabilitado | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Evento_Desabilitado/12000000-2015_08_12-2015_08_14 | 2 | Não |
| 46 | 39.330280 | Estabelecimento | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 42 | Não |
| 16 | 28.791948 | Compra Pública | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Compra_Publica/5613 | 2 | Não |
| 49 | 25.152219 | Estabelecimento SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 42 | Não |
| 38 | 24.849704 | Empresa | Organização | Pessoa Jurídica SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/12000060 | 6 | Não |
| 28 | 20.823994 | Contribuinte Substituto Tributário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Tributario/Substituto_Tributario/12073060 | 1 | Não |
| 17 | 19.482330 | Conceito | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/2731700 | 53360 | Não |
| 115 | 17.174595 | Subclasse CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/2731700 | 53360 | Não |
| 78 | 15.728474 | Papel | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Socio/417343 | 2 | Não |
| 119 | 12.676418 | Sócio Cadastro SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Socio/417343 | 2 | Não |
| 62 | 12.000367 | Inadimplência | http://www.sefaz.ma.gov.br/resource/CEI/Inadimplencia/10000100-2875068000140-20%2F09%2F05%2000%3A00%3A00-20%2F09%2F05%2000%3A00%3A00 | 2 | Não |
| 48 | 10.544416 | Estabelecimento RFB | http://www.sefaz.ma.gov.br/resource/RFB/Estabelecimento/00000000000191 | 54 | Não |
| 65 | 10.426311 | Item | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Item/10000513513100005119 | 3 | Não |
| 41 | 9.439928 | Endereço Cadastro da SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Endereco/12000000 | 63 | Não |
| 47 | 9.162225 | Estabelecimento REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Estabelecimento/191 | 32 | Não |
| 82 | 8.712418 | Pessoa Física Cadastro SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Pessoa/2010305 | 12 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
?o ?p3 ?o2.
filter(?p3 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o2))
}
d7 = pd.read_csv("pd6.csv")
d7
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.988769 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 0 |
| 1 | 1.203670 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 0 |
| 2 | 0.801852 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 0.816595 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 1.260753 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 131 | 0.965980 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 132 | 0.756927 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 133 | 0.792381 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 134 | 0.818180 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 0 |
| 135 | 6.112581 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 212 |
136 rows × 4 columns
d7[(d7['triplas']==0) | (d7['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.988769 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 0 |
| 1 | 1.203670 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 0 |
| 2 | 0.801852 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 0.816595 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 1.260753 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 130 | 1.329914 | Unidade Consumo Telecomunicação | http://www.sefaz.ma.gov.br/resource/C115/Unidade_Consumo_Telecomunicacao/99984962180-92806287391-40432544024593 | 0 |
| 131 | 0.965980 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 132 | 0.756927 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 133 | 0.792381 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 134 | 0.818180 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 0 |
87 rows × 4 columns
p = {'inválidas':d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0],'válidas':d7.shape[0]-d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de recursos com duas propriedades em cadeia por classe válidos')
fig.show()
d7['erro'] = 'Não'
d7.loc[d7['triplas']==-1,'erro']='Sim'
p = d7['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
validas = d7[(d7['triplas']!=0) & (d7['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução com tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 42.000000 | 42.000000 |
| mean | 2.619452 | 13.595238 |
| std | 1.732118 | 34.073135 |
| min | 0.210161 | 1.000000 |
| 25% | 1.401772 | 2.250000 |
| 50% | 2.139690 | 5.000000 |
| 75% | 3.411016 | 11.500000 |
| max | 7.136993 | 212.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 7.000000 | 7.000000 |
| mean | 75.158543 | 19014.428571 |
| std | 87.860436 | 50261.149074 |
| min | 8.014089 | 10.000000 |
| 25% | 11.424974 | 13.000000 |
| 50% | 33.155622 | 17.000000 |
| 75% | 121.856933 | 26.000000 |
| max | 218.376276 | 132996.000000 |
Consultas com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 38 | 218.376276 | Empresa | Organização | Pessoa Jurídica SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/12000060 | 17 | Não |
| 46 | 181.159797 | Estabelecimento | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 26 | Não |
| 66 | 62.554070 | Localização | Local | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Endereco/12000000 | 13 | Não |
| 49 | 33.155622 | Estabelecimento SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 26 | Não |
| 37 | 14.044192 | Empresa | Organização | Pessoa Jurídica RFB | http://www.sefaz.ma.gov.br/resource/RFB/Empresa/00000000 | 132996 | Não |
| 47 | 8.805757 | Estabelecimento REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Estabelecimento/191 | 10 | Não |
| 41 | 8.014089 | Endereço Cadastro da SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Endereco/12000000 | 13 | Não |